Найдено записей: 5
Радиальное внимание представляет новый механизм разреженного внимания, который сокращает затраты на обучение в 4,4 раза и время инференса в 3,7 раза в видео-диффузионных моделях, позволяя создавать более длинные видео без потери качества.
OpenBMB представила MiniCPM4 — ультраэффективные большие языковые модели, оптимизированные для edge-устройств, с разреженным вниманием и быстрым инференсом, превосходящие конкурентов при меньшем объёме данных.
Исследователи из Университета Фудань разработали Lorsa — механизм разреженного внимания, позволяющий выделять атомарные единицы внимания, скрытые в суперпозиции трансформеров, что улучшает интерпретируемость языковых моделей.
RWKV-X представляет гибридную модель, объединяющую разреженное внимание и рекуррентную память для эффективного декодирования очень длинных последовательностей с линейной сложностью, превосходя предыдущие модели RWKV в задачах с длинным контекстом.
Исследователи из Эдинбурга, Cohere и Meta показали, что большие разреженные модели превосходят меньшие плотные при работе с длинным контекстом, предложив новые законы масштабирования и стандартизированные методы.